Critic-R: Improving Agentic Search using Instruction-tuned Retrievers with Natural Language Introspective Feedback
Critic-R：用自然语言内省反馈改进代理搜索中的检索瓶颈
🧭 Agentic Search · 推理时检索反馈优化 ★ 深度解读
University of Massachusetts Amherst
引入批评模型判断检索是否满足推理需求，结合推理时查询重写与无标注对比学习，显著提升多跳问答性能
📌 工作参考价值（4 点）
- 推理时检索质量修复：无需修改现有检索模型，仅引入一个独立的批评模型判断检索结果是否满足当前推理步骤，并基于不满足的反馈重写查询。在电商搜索或对话推荐中，当检索结果不相关或信息不足时，可直接使用此机制动态改进查询，提升最终答案准确性。
- 无标注检索器微调：利用代理轨迹中的正例（被推理模型接受的文档）和硬负例（被拒绝的文档）构建对比学习数据，无需人工相关度标注。该方案可用于训练电商领域的稠密检索器，尤其适用于缺乏标注数据的场景，且能显著超越端到端联合训练的检索器。
- 内省反馈作为关键监督信号：批评模型必须基于推理模型的思考过程（而非仅查询-文档对）来判断检索质量。在应用时，应保留推理链中的自然语言反馈，将其作为后续模型优化或数据筛选的重要输入，能大幅提升训练信号纯度。
- 解耦判断与改进：将“检索引擎是否满足需求”的判断与“如何改进查询”分开为两个独立的提示步骤，可提高稳定性并避免不必要的外部调用。实现类似系统时可复用这种解耦设计，减少推理开销并提升灵活性。